Transcrição da Prova — Daniel Caetano de Assis

Matrícula: 20233003990 • Turma2 • Prova Escrita 1 (Modelo A)

Data de Publicação

27/10/2026

Data de Modificação

22/10/2026

Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML

Transcrição da Prova Escrita 1 — Daniel Caetano de Assis

Questão 1 — Triagem com dados heterogêneos (5,0 pts) — [Páginas 1 e 2]

  • Legibilidade da Questão: 96%

1.a Figura 1 e Decisão de Produção (Valor: 2,0) — [Página 1]

  • Resposta Manuscrita: > “Afirmação falsa. Após a época 8 a perda de treino cai mas a de validação sobe: overfitting, o modelo decora o treino e não generaliza. Perda de treino baixa não garante desempenho em dados novos. O ideal seria parar na época 8 e avaliar no teste.”
  • Observações de Leitura (OCR): Diagnóstico perfeito do sobreajuste e recomendação de parada precoce (early stopping) na época 8.

1.b Representação e Retropropagação (Valor: 2,0) — [Página 2]

  • Resposta Manuscrita: > “Numéricas: Padronizar (z-score) com estatísticas do treino.: One-hot.calcula o gradiente de perda em relação a cada peso. O otimizador usa esses gradientes para atualizar os pesos.”
  • Observações de Leitura (OCR): Notável rigor ao especificar padronização z-score com estatísticas calculadas estritamente no conjunto de treino.

1.c Evidências de Confiança e Reprodutibilidade (Valor: 1,0) — [Página 2]

  • Resposta Manuscrita: > “Divisão treino/validação/teste estratificada e sem vazamento, teste usado uma vez. Métricas: recall dos urgentes, precisão, matriz de confusão, AUC-PR e calibração.: fixar a semente e versionar dados e splits.”
  • Observações de Leitura (OCR): Especifica partição estratificada sem vazamento, uso único do teste, métricas clínicas adequadas (Recall, AUC-PR) e boas práticas de reprodutibilidade (semente e versionamento de splits).

Questão 2 — Inspeção visual em condições novas (5,0 pts) — [Páginas 2 e 3]

  • Legibilidade da Questão: 95%

2.a Diagnóstico Experimental (Valor: 2,0) — [Página 2]

  • Resposta Manuscrita: > “Revisar amostra dos alertas noturnos e comparar métricas e distribuição das imagens dia x noite. Overfitting: erra também em imagens novas do dia. Covariate shift: vai bem de dia, erra à noite e as imagens noturnas têm outra distribuição. Rotulação: a revisão acha peças aprovadas com defeito ou discordância entre inspectadores.”
  • Observações de Leitura (OCR): Distinção clara e metodologicamente impecável entre as três hipóteses de falha.

2.b Arquitetura e Transferência de Aprendizado (Valor: 2,0) — [Página 3]

  • Diagrama / Elemento Visual: Sem diagrama desenhado.
  • Resposta Manuscrita: > “CNN capta padrões locais (bordas, texturas), compartilha pesos e é invariante à translação. Congelar a base pré-treinada e treinar só a cabeça nova. Depois ajuste fino das últimas camadas com learning rate baixo. Usar dropout, L2, early stopping e augmentation de brilho, constraste, ruído e rotação.”
  • Observações de Leitura (OCR): Cita os fundamentos das CNNs (compartilhamento de pesos e invariância translacional) e delineia uma estratégia completa de transfer learning, regularização e data augmentation.

2.c Cautela Amostral (Valor: 1,0) — [Página 3]

  • Resposta Manuscrita: > “Validação cruzada estratificada, média \(\pm\) intervalo de confiança, teste noturno separado e intocado, comparar com o modelo atual. Ganho pequeno pode ser ruído.”
  • Observações de Leitura (OCR): Cuidados estatísticos com intervalos de confiança e teste cego noturno.

Questão 3 — Alerta que muda decisões (5,0 pts) — [Páginas 3 e 4]

  • Legibilidade da Questão: 94%

3.a Interpretação da Calibração e Crítica ao Limiar (Valor: 2,0) — [Página 3]

  • Diagrama / Elemento Visual: Sem anotações no gráfico da Figura 2.
  • Resposta Manuscrita: > “Em \(\hat{p} = 0,5\) a frequência real é só 18%: o modelo superestima o risco, então em 0,5 ele erra \(\approx 82\%\). Mal calibrado = a probabilidade não corresponde à frequência real e não pode ser lida como risco, é preciso recalibrar.”
  • Observações de Leitura (OCR): Leitura correta do gráfico na Figura 2, apontando o erro real de 82% decorrente da superestimação de risco.

3.b Custos Assimétricos e Capacidade Operacional (Valor: 2,0) — [Página 4]

  • Resposta Manuscrita: > “FN custa mais que FP, o que puxa o limiar para baixo, mas FP em excesso estoura a capacidade de equipe e gera fadiga de alarme. Escolher na validação o limiar que minimiza \(C_{FN} \cdot FN + C_{FP} \cdot FP\) com alarmes \(\le\) capacidade.”
  • Observações de Leitura (OCR): Formalização explícita da função de custo esperado sob restrição de capacidade operacional.

3.c Telemetria e Deriva de Conceito (Valor: 1,0) — [Página 4]

  • Resposta Manuscrita: > “Monitorar a distribuição das entradas (PSI/KS), dos escores, taxa de alarmes e, com desfechos, recall e calibração. Ao detectar anomalia: revisão humana, voltar a versão/limiar seguro, recalibrar ou retreinar com dados novos.”
  • Observações de Leitura (OCR): Menção precisa a métricas estatísticas avançadas de drift (PSI e teste de Kolmogorov-Smirnov KS) e protocolo de contingência.

Questão 4 — Busca de conhecimento para atendimento (5,0 pts) — [Páginas 4 e 5]

  • Legibilidade da Questão: 95%

4.a Representação Semântica e Limitações do Cosseno (Valor: 2,0) — [Página 4]

  • Resposta Manuscrita: > “Word2Vec: vetor fixo por palavra, ignora contexto. BERT: vetor depende da frase e capta paráfrases, mas custa mais e tem limites de tokens. Cosseno mede proximidade do tema, não relevância: sempre retorna algo, ignora se a norma é vigente, falha em códigos e termos exatos.”
  • Observações de Leitura (OCR): Contraste conceitual e limitações do cosseno detalhados com grande clareza.

4.b Avaliação Rigorosa de Recuperação (Valor: 1,5) — [Página 5]

  • Resposta Manuscrita: > “Busca vetorial sempre retorna resultado, então a taxa fica \(\approx 100\%\) mesmo errando. Protocolo: consultas com ground truth, validação e testes separados. Precision@K, Recall@K, MRR e nDCG, comparando com BM25.”
  • Observações de Leitura (OCR): Aponta a armadilha do retorno forçado da busca vetorial e lista métricas padrão de Information Retrieval.

4.c Busca Híbrida e Governança (Valor: 1,5) — [Página 5]

  • Resposta Manuscrita: > “BM25 acerta termos exatos e códigos, o denso acerta paráfrases; combinar os escores. Filtrar por metadados (data, versão, …) antes do ranking, excluindo normas revogadas e citando fonte e versão.”
  • Observações de Leitura (OCR): Estratégia híbrida canônica com pré-filtragem por metadados para governança documental.

Questão 5 — Assistente que pode não responder (5,0 pts) — [Páginas 5 e 6]

  • Legibilidade da Questão: 95%

5.a Contestação do Maior Escore e Desenho da Abstenção (Valor: 2,0) — [Página 5]

  • Resposta Manuscrita: > “Contesto: o maior score sempre devolve algo, mesmo sem resposta real. Política: se \(s_1 < \tau_1\), abster; se \(s_1 - s_2 < \tau_2\) e os documentos divergem, abster ou pedir esclarecimento; senão responder citando a fonte. \(\tau_1\) e \(\tau_2\) ajustados na validação.”
  • Observações de Leitura (OCR): Regra de decisão matemática completa utilizando os limiares \(\tau_1\) (confiança mínima) e \(\tau_2\) (margem para desambiguação).

5.b Conflito de Fontes e Validação Prévia (Valor: 2,0) — [Página 6]

  • Resposta Manuscrita: > “Conflito: priorizar a norma vigente e mais recente via metadados; se persistir, abster e sinalizar. Validar com consultas respondíveis e não respondíveis, medindo acerto, abstenção correta e abstenção indevida para escolher \(\tau_1\) e \(\tau_2\).”
  • Observações de Leitura (OCR): Matriz de validação experimental completa diferenciando abstenção correta de abstenção indevida.

5.c Telemetria e Impacto Operacional (Valor: 1,0) — [Página 6]

  • Resposta Manuscrita: > “Registrar escores e decisão por consulta e acompanhar a taxa de abstenção. Se sobe: perguntas novas ou acervo desatualizado (reindexar). Se cai bruscamente: possíveis respostas erradas (auditar).”
  • Observações de Leitura (OCR): Interpretação bidirecional sofisticada da taxa de abstenção (subida vs queda brusca indicando alucinação/respostas indevidas).
De volta ao topo